StudyBench: Can Self-Evolution Squeeze Textbooks for Olympiad Capability?
StudyBench：自进化能否将教科书转化为奥赛能力？
🧭 自进化能力评测基准
Tsinghua University · Zhejiang University
提出受控物理基准 StudyBench，量化自进化从教科书到奥赛能力的吸收与迁移效率，并揭示 Guidance Gap 与 Compute Plateau
📌 工作参考价值（4 点）
- 在自研 Agent/LLM 持续学习或微调项目中，引入「吸收集/迁移集」双层评测，区分同分布刷分与跨分布可迁移能力，避免被 Application Set 式指标误导。
- 当新知识或业务文档以 in-context 形式输入时模型表现明显优于微调后，说明存在 Guidance Gap；此时优先考虑 RAG/上下文增强，而不是急于微调。
- 监控 Compute Plateau：在数据或算力预算远未耗尽时指标已饱和，需要回头审视训练方法、知识表示或合成数据策略，而不是盲目增加数据或训练步数。
- 在搜索/推荐中的 LLM 任务（query 改写、文案生成等）引入持续业务知识时，用受控基准隔离数据、算力、方法因素，能更准确判断迭代方向。